Gloria May Josephine Swanson<[1] được sinh ra trong một ngôi nhà nhỏ ở Chicago vào năm 1899. Mẹ bà là Adelaide (nhũ danh Klanowski) và cha bà là Joseph Theodore Swanson, một người lính. Mẹ của bà đã theo học kịch nghệ tại Học viện Giáo dục Hawthorne. Cha của bà xuất thân từ một gia đình người Mỹ gốc Thuỵ Điển theo giáo hội Luther, và mẹ bà là người có gốc Đức, Pháp và Ba Lan.[3][4]

Bởi vì sự gắn bó của người cha với Quân đội Hoa Kỳ, gia đình bà di chuyển thường xuyên và Swanson đã dành hầu hết thời thơ ấu của mình tại Puerto Rico, nơi bà học tiếng Tây Ban Nha. Bà cũng ở một thời gian dài tại Key West, Florida. Bà không có ý định tham gia vào giới giải trí, nhưng người cô đã đưa Swanson đến chơi một công ty điện ảnh nhỏ ở Chicago, tên là Essanay Studios và Swanson được mời làm việc tại đó với một vai phụ.[5]

Sau một vài tháng đóng vai phụ với những diễn viên khác như Charlie Chaplin, và kiếm được 13,50 đô la một tuần, Swanson bỏ học để làm việc toàn thời gian tại studio. Bố mẹ bà nhanh chóng ly dị và bà cùng mẹ chuyển đến California.[6]